\chapter{相关理论与技术}

\section{退化过程模型}

退化过程模型是一类用于刻画系统或产品性能随时间持续劣化的数学工具，能够有效描述材料磨损、腐蚀、疲劳裂纹扩展等随时间累积的物理或化学变化。与传统的失效时间模型不同，退化模型并不局限于对失效时间的建模，而是更加关注退化路径本身，从而能够在失效尚未发生时就实现早期预测和健康评估。因此，在长寿命、低失效率的设备监测与寿命管理场景中，退化建模具有显著优势，已被广泛应用于工业系统的可靠性评估、健康管理及预测性维护等任务中。

当前主流的退化过程建模方法多基于随机过程理论，其中以 Gamma 过程、Wiener 过程 和 逆高斯（Inverse Gaussian, IG）过程 为代表，这些模型因其良好的数学性质与工程可解释性，在工业界和学术界均得到了广泛应用。

Gamma 过程 是一种常用于描述不可逆、单调递增退化行为的随机过程，其增量服从 Gamma 分布，允许退化速率随时间变化，尤其适合建模材料腐蚀、机械磨损等典型的累积性退化现象。设 \( X(t) \) 表示设备在时间 \( t \) 的退化水平，则满足：

\begin{equation}
  X(t+\Delta t) - X(t) \sim \mathrm{Gamma}(\alpha \Delta t, \beta)
\end{equation}

其中形状参数 \( \alpha \) 控制退化速率，尺度参数 \( \beta \) 反映退化过程的不确定性。Gamma 过程的增量独立性和非负性使其在寿命预测中极具吸引力。

近年来，研究者在标准 Gamma 过程基础上引入了多种扩展模型，显著提升了模型对实际复杂退化行为的适应性。
Wang 等人提出了一种基于 Gamma 过程的动态剩余寿命预测方法，并结合最优维护策略，显著降低了随机波动对 RUL 预测准确性的影响，从而便于实施基于设备实时状态的维护\cite{WANG2021107504}。
Song 等人针对双变量相关退化数据，开发了一种基于 Gamma 过程的退化建模方法，该方法通过引入一个共同的随机效应项自然地捕捉两个退化过程之间的依赖关系，并采用期望最大化（Expectation-Maximization, EM）算法进行参数估计，随后利用贝叶斯方法实现产品剩余寿命的实时预测\cite{SONG2022108200}。
Liu 等人进一步提出了一种变换 Gamma 过程建模方法，该模型考虑了退化增量与时间及状态的相关性，并假设测量误差服从正态分布，同时推导了误报概率及剩余寿命分布，为退化系统的健康评估和寿命预测提供了更精确的数学工具\cite{LIU2022108084}。

相比之下，Wiener 过程（又称布朗运动）则能够同时捕捉退化过程中的长期趋势与短期波动，适合用于建模如传感器漂移、电池容量衰减等包含随机振荡的退化行为。该过程由一个线性漂移项与一个正态分布扰动项组成，数学表达为：

\begin{equation}
  X(t) = \mu t + \sigma W(t)
\end{equation}

其中 \( \mu \) 表示漂移速度，反映设备的平均退化趋势；\( \sigma \) 为扩散系数，衡量随机波动的强度；\( W(t) \) 为标准 Wiener 过程。Wiener 过程的最大优势在于其建模简洁性与解释性，在处理早期退化数据时尤为高效。实际应用中，其参数可通过最大似然估计或贝叶斯方法根据历史退化数据进行拟合，从而实现设备剩余寿命的概率预测。例如，基于第一到达时间理论可推导出退化过程首次越过失效阈值的时间分布，进而得到 RUL 估计及置信区间。

为克服该模型在单调性假设、正态增量等方面的局限性，研究者提出了多种改进策略。
Chen 等人提出了一种基于迁移学习的混合自适应 Wiener 过程，以实现对具有不同退化模式的产品进行动态建模\cite{CHEN2025110975}。
Wang 构建了一个两阶段自适应漂移 Wiener 过程模型，用于描述部件的退化过程，其中第一阶段用于刻画初期缓慢退化，第二阶段用于描述加速退化行为\cite{WANG2025110908}。
Cui 等人在广泛使用的 Wiener 过程模型基础上，提出了一种两阶段混合退化模型，其中第一阶段采用线性建模，而第二阶段引入非线性机制，以更精准地刻画复杂退化过程的动态特性\cite{10463036}。

逆高斯过程则是在 Gamma 过程基础上的扩展，其增量服从逆高斯分布，能够更灵活地捕捉退化速率的随机性与时变性。若设备退化过程 \( X(t) \) 满足以下关系：

\begin{equation}
  X(t) - X(s) \sim IG\left(\mu(t - s), \lambda(t - s)^2\right)
\end{equation}

其中参数 \( \mu \) 控制平均退化速率，\( \lambda \) 调节分布形状。逆高斯过程在建模如裂纹扩展、材料疲劳等现象中展现出优越性能。

近年来，研究者针对逆高斯过程的建模能力进行了扩展与优化。
Zhuang 等人提出了一种基于重新参数化的逆高斯过程的两阶段退化模型，该模型考虑了不同系统之间的变化点及模型参数的差异，以应对个体间的异质性，并采用最大似然估计（MLE）和贝叶斯方法进行参数推断\cite{ZHUANG2024877}。
Jiang 等人提出了一种基于逆高斯过程的步进应力加速退化测试模型，在该模型中，漂移参数与形状参数被设定为应力水平的函数，以更准确地描述不同应力条件下的退化行为\cite{10317807}。
Chen 等人进一步提出了一种非线性自适应 IG 过程及其相应的状态空间模型，该模型在建模时充分考虑了测量误差的影响，并提出了一种改进的粒子滤波算法，以在非高斯假设下动态更新退化参数并估计潜在的退化状态。此外，他们基于粒子方法的结果推导出了依赖于历史退化数据的剩余寿命（RUL）预测方法，为复杂退化系统的健康评估提供了新的思路\cite{8941060}。

需要指出的是，单一退化模型难以覆盖复杂系统的多尺度、非平稳退化行为。因此，混合退化模型成为近年的研究热点，典型如 Gamma-Wiener 组合模型和逆高斯-Wiener 组合模型，分别融合了累积性退化的描述能力与短期波动建模能力，显著增强了模型在实际工程中的适用性。该类模型在轴承磨损、裂纹扩展、电气器件老化等多类工业场景中均取得了良好效果。

综上所述，退化过程模型为设备健康监测与寿命预测提供了坚实的理论基础。Wiener 过程因其结构简洁、推理透明，在建模系统早期健康退化轨迹方面尤其具有优势，已成为构建数据驱动-物理模型融合框架的重要组成部分。未来的研究可进一步探索非线性结构、多变量建模及与深度学习的协同建模方式，持续提升退化建模的精度与泛化能力。

\section{时间序列分解}

时间序列分解技术是一种重要的分析手段，它能够将复杂的退化信号拆解为不同成分，从而揭示设备状态的长期变化趋势、周期性波动以及随机扰动对退化过程的影响\cite{Barman25}。在设备健康监测与寿命建模任务中，原始传感器数据往往包含多种时变因素的叠加，例如因自然老化引起的性能退化、因工作负载变化带来的周期性振动，以及外部扰动或测量误差引起的非系统性波动。直接对这种复杂混合信号建模往往会导致特征混淆、模型性能不稳定等问题。时间序列分解技术通过将原始序列拆解为具有不同统计特征或语义特征的组成部分，使得各类成分可以被单独建模与分析，从而实现更具解释性与可控性的建模过程，并提高后续预测模型的精度与鲁棒性。

传统的时间序列分解方法主要建立在统计建模的基础之上，其基本思想是将原始时间序列 $X_t$ 视为多个成分的叠加或乘积，包括长期趋势项 $T_t$ 、周期性成分 $S_t$ 和随机扰动项 $R_t$。其中，趋势项反映了信号的长期变化模式，季节项刻画了可能存在的周期性波动，而随机项则用于表示短期的随机扰动或测量噪声。通过这种方式，研究者可以有效提取退化轨迹的关键特征，从而提高退化建模的准确性，并为进一步的预测分析提供可靠的数据支持。

在具体实现上，加法模型和乘法模型是最常见的两种形式\cite{Barman25}。加法模型假设时间序列的不同成分是线性叠加的，即：

\begin{equation}\label{eq:加法模型}
  X_t = T_t + S_t + R_t
\end{equation}

该模型适用于各组成部分幅度相对稳定的情况。而乘法模型适用于存在相对变幅性的非平稳序列，其表达形式为：

\begin{equation}
  X_t = T_t \times S_t \times R_t
\end{equation}

在实际应用中，移动平均法被广泛用于平滑时间序列以提取趋势项，而季节调整方法则可用于去除周期性成分。然而，这些传统方法往往基于固定周期、稳定结构等假设，对于复杂设备运行过程中产生的非平稳信号，其建模能力和表达力存在局限。

为了克服传统分解方法的局限性，STL（Seasonal-Trend decomposition using LOESS）分解方法被提出，并在时间序列分析领域得到了广泛应用\cite{10.1007/978-981-97-2242-6_4}\cite{10290126}。
STL（Seasonal-Trend decomposition using LOESS）分解方法是一种广泛用于时间序列分析的自适应分解技术，它能够将时间序列拆解为趋势项、季节项和随机项，并且允许季节项随时间演化，使其在非平稳退化轨迹分析中具有显著优势。从数学上来看，STL 分解属于加法模型的一种扩展形式，即假设时间序列 $X_t$ 由趋势项 $T_t$、季节项 $S_t$ 和随机项 $R_t$ 组成，其基本形式也可表示为公式 \ref{eq:加法模型}，与传统加法模型一致，但 STL 分解方法的核心特点在于，它采用局部回归（LOESS）方法估计趋势项 \( T_t \)，而非简单的移动平均或回归方法，从而提高了趋势估计的平滑性和适应性。此外，STL 分解允许季节项 \( S_t \) 随时间演化，而不是像传统加法模型那样假设其为固定模式。具体而言，STL 分解通过滑动窗口方法计算季节成分，使得不同时间段的季节项可以有所变化，以适应非平稳信号。  

STL 分解的实现过程通常包括三个主要步骤：

\begin{itemize}
  \item \textbf{趋势提取}：对原始时间序列进行初步平滑处理，以获得初始趋势估计 \( T_t \)；
  \item \textbf{季节估计}：从原始序列中去除趋势项，得到季节项的初步估计，并通过多次迭代更新，以确保季节性成分的平滑性和时间可变性；
  \item \textbf{残差更新}：将剩余部分视为随机项 \( R_t \)，用于表示无法由趋势和季节成分解释的随机噪声或突发扰动。
\end{itemize}

由于 STL 分解能够有效适应不同时间尺度的数据变化，并且对异常值具有较强的鲁棒性，因此在退化轨迹分析中具有重要应用。例如，在电池寿命预测问题中，STL 分解可用于提取电池容量衰减的长期趋势，并去除充放电周期引起的短期波动，从而提高预测精度；在机械设备健康监测中，该方法可以帮助分析振动信号的趋势变化，提取潜在的退化模式，并区分正常运行状态与潜在故障状态。这些特性使得 STL 分解成为退化轨迹分析和剩余寿命预测中的重要工具。

然而，值得强调的是，时间序列分解的核心思想远不止于上述“趋势 + 季节 + 随机”三项的形式建模。从本质上讲，时间序列分解是一种将混合信号拆解为多个可解释子结构的范式，而这些子结构可以依据具体任务需求而定义。在退化建模任务中，信号成分不仅仅来源于统计特征的异质性，更源于不同物理机制或操作场景所引起的退化响应差异。因此，在本研究中，我们将退化轨迹按照其影响因素进行结构性分解，划分为“日常损耗项”与“事件扰动项”两大成分。其中，日常损耗项反映设备在正常运行条件下长期积累的性能劣化过程，具有稳定性与可预测性；而事件扰动项则用于表征由于工况突变、外部冲击或短期异常导致的性能跃变，具有显著的非平稳性和不确定性。这一结构性分解不仅在方法论上突破了传统统计框架的限制，更在建模上实现了针对性建模与特征提取，为提高预测精度与模型鲁棒性奠定了基础。

综上所述，时间序列分解方法通过将复杂信号拆解为结构清晰、含义明确的分量，有效提升了退化建模的可解释性与建模性能。无论是传统的趋势/季节/随机三项分解，还是面向特定任务设计的结构性分解框架，其核心都在于增强信号内部结构的表达能力，从而降低模型负担，提升建模效率。在本研究中，时间序列分解不仅作为前置的数据处理手段，更构成了模型设计的逻辑基础，是实现高性能设备剩余寿命预测的关键一环。

\section{时间序列分段}

在对退化轨迹建模的过程中，为了捕捉设备在运行过程中由不同影响因素导致的性能退化，本研究提出将完整的退化轨迹水平分解为“日常损耗项”与“事件扰动项”两个分量，并分别构建独立的特征学习通道对其进行建模。其中，事件扰动项主要用于描述由于外部冲击、工况突变或短期异常所引发的性能突降行为，其在时间尺度上往往表现为局部的非平稳片段，具有较强的不确定性与突发性。因此，在开展事件扰动特征建模之前，准确识别并分割出这些独立的退化事件成为关键步骤。时间序列分段（Time Series Segmentation）技术正是应对此类问题的核心方法，其目标是在较长的时间序列中识别合理的分割点，将原始序列划分为一系列模式相对一致的子序列，从而为后续特征提取与建模提供结构化的数据基础。

假设有一段多维时间序列数据 \(\mathbf{X} = \{\mathbf{x}_1, \mathbf{x}_2, \ldots, \mathbf{x}_T\}\)，其中 \(\mathbf{x}_t \in \mathbb{R}^d\) 表示第 \(t\) 个时间步的第 \(d\) 维观测值，\(T\) 表示时间序列的总长度。时间序列分段的目标是寻找一组分割点 \(\{ \tau_1, \tau_2, \ldots, \tau_K \}\)，使得原始序列被划分为 \(K+1\) 个子序列：

\begin{equation}
    \begin{aligned}
        \mathbf{X}^{(0)} &= \{\mathbf{x}_1, \ldots, \mathbf{x}_{\tau_1}\} \\
        \mathbf{X}^{(1)} &= \{\mathbf{x}_{\tau_1 + 1}, \ldots, \mathbf{x}_{\tau_2}\}\\
        \dots\\ 
        \mathbf{X}^{(K)} &= \{\mathbf{x}_{\tau_K + 1}, \ldots, \mathbf{x}_T\}
    \end{aligned}
\end{equation}

其中，每一个子序列 \(\mathbf{X}^{(k)}\) 被假设为来源于某一潜在的稳定生成过程，例如具有相似的均值、方差或相关结构，这样的子序列通常对应于一个特定的退化行为模式。本研究在事件扰动项的建模过程中，即是借助时间序列分段技术，从原始序列中提取表现出非平稳退化行为的局部片段，从而将复杂的扰动信号还原为一组更具代表性的退化事件。这种结构化处理不仅有助于消除背景趋势的干扰，也显著提高了神经网络在学习阶段对退化机制的聚焦能力。

根据分割点的搜索策略不同，现有的时间序列分段方法大致可分为三类：滑动窗口法（Sliding Window）、自顶向下法（Top-Down）与自底向上法（Bottom-Up）。

\textbf{（1）滑动窗口法（Sliding Window）}

滑动窗口算法从时间序列的第一个数据点开始，把这个点作为潜在分段的左端点（即锚点），然后不断尝试用更长的分段去近似右侧的数据；当近似误差大于用户指定的阈值 $max\_error$ 时，将从锚点到误差超出阈值前一个点的子序列确定为一个分段，并将锚点移动到下一个未处理的数据点，重复上述过程直至序列遍历完成。该算法的优点在于结构简单、计算效率高，并具备在线处理能力，因此在流式数据或实时监测场景中具有较高的实用价值。然而，它对噪声较为敏感，且分段策略依赖于全局误差阈值设定，缺乏整体最优性控制，容易在高波动场景下产生次优分段。

\textbf{（2）自顶向下法（Top-Down）}

自顶向下方法从整体出发，迭代地寻找最优分割点以最小化分段误差。具体做法是对整段时间序列遍历所有可能的分割位置，选择使得子段误差之和最小的切割点作为分段点，并对分得的子序列递归执行该策略，直到所有子段误差均低于指定阈值或达到目标分段数量。该方法最早由 Keogh 等人\cite{2003Segmenting}系统提出，并被 Ehmke 等人\cite{EHMKE2012338}应用于工业时间序列的关键点检测任务中。其操作流程为：首先在所有可能的分割点中寻找全局最优点，将原始序列划分为两段；随后对每段计算逼近误差，若仍高于设定阈值，则继续递归划分，直到所有子段误差满足要求。由于其结构清晰、直观，且便于误差控制，该算法被广泛用于结构化建模与趋势检测等场景。然而，Ehmke 等人指出该算法为离线方法，且需要对整个时间序列进行全扫描，计算开销较大，特别是在高维或长序列场景中不够高效。

\textbf{（3）自底向上法（Bottom-Up）}

自底向上方法则采用与自顶向下相反的策略：从最细粒度的子段开始（通常为两个连续的数据点），迭代地寻找最优的合并方案，以逐步构建更长的分段。Pavlidis 等人\cite{1672634}在该框架下提出了具体实现方法：首先将长度为 \(n\) 的时间序列划分为 \(n/2\) 个初始片段，随后计算每对相邻片段合并后的误差增量，优先合并误差最小的片段对。该过程持续进行，直到误差超过设定阈值或达到目标段数。该方法具备较高的逼近质量与灵活性，特别适用于在数据稠密且变化模式复杂的场景下进行局部特征建模。然而，其仍需要在每轮迭代中维护与更新误差列表，整体计算复杂度较高，尤其在序列长度较大时。

尽管自顶向下与自底向上两种方法作为经典时间序列分段技术被广泛应用，但其在分割效率与可扩展性方面仍存在一定限制。为此，近年来研究者提出了多种改进方法以提升分段性能。例如，林意等人\cite{Lin2019}提出了一种结合时间序列形态特征与几何结构的高效分段方法，利用时间序列在二维空间中形成的曲线形态与图形结构的对齐性，快速定位潜在分割点，从而提升分段精度与速度。Park 等人\cite{836610}也进一步探索了基于启发式与结构先验的快速分段策略，在保留语义一致性的前提下显著降低了计算复杂度。

\text{（4）GGS 算法（Greedy Gaussian Segmentation）}

除了上述经典的滑动窗口、自顶向下与自底向上方法，近年来也出现了一些更具建模能力与统计解释性的高级时间序列分段方法。其中，贪婪高斯分段（Greedy Gaussian Segmentation, GGS）算法\cite{10.1007/s11634-018-0335-0}是一个具有代表性的多元时间序列分段框架。该方法将时间序列建模为若干由高斯分布生成的稳定片段，并通过最大化正则化对数似然函数来寻找最优分段点，从而实现对时间序列中潜在结构变化的识别。GGS 尤其适用于非平稳性强、维度较高的时间序列场景，其在统计驱动建模、多变量协同分段以及正则化控制方面具有较大优势。

然而，GGS 算法也存在一定局限性。例如，该方法要求用户预先设定分段数量 \(K\)，这在退化建模中往往难以满足。实际设备在运行过程中可能受到多种复杂扰动影响，导致退化事件发生的频次与强度并不一致，难以通过一个固定参数提前确定。因此，直接采用 GGS 往往会限制其在实际工程中的应用效果。

鉴于此，本研究并未直接采用 GGS 原始算法，而是基于其核心思想进行改进，结合自顶向下方法的灵活分段策略，设计了一种无需提前设定事件数量的分段机制。该方法保留了 GGS 在建模多元高斯分段结构上的表达能力，同时通过递归式启发式搜索，使分段过程更适应于退化事件数量未知、位置分布非均匀的实际工业情境。相关改进细节将在后文中详细介绍。

综上所述，时间序列分段方法作为一种将长时间序列结构化为若干稳定子模式的技术，在退化轨迹建模中发挥着至关重要的作用。它不仅能够有效识别设备运行过程中潜在的性能跃变点，还为扰动信号的结构提取与事件建模提供了数据层面的清晰分界。相比于直接处理原始退化轨迹，分段后的数据具有更强的模式一致性和语义可解释性，为后续深度模型的训练与退化机制的刻画奠定了坚实的基础。在本研究中，事件扰动项的提取正是以时间序列分段为前提，使得扰动信息得以显性化、结构化，从而实现退化轨迹的精细建模与高效学习。与此同时，合理选择分段方法对于在不同设备场景与退化特征条件下实现精度与效率的权衡也具有重要意义。

\section{深度学习模型}

在设备状态建模与时序预测等任务中，深度学习技术因其卓越的特征提取能力和灵活的模型表达形式，已成为处理复杂时间序列数据的主流方法。与传统手工构造特征的方法相比，深度神经网络能够从原始数据中自动学习多层次的抽象表示，从而更有效地刻画非线性、非平稳的退化过程。在众多深度学习结构中，自动编码器（Autoencoder）、长短期记忆网络（Long Short-Term Memory, LSTM）以及 Transformer 模型因其各自的建模优势被广泛应用于工业健康监测、异常检测及预测分析等场景。本文亦采用了这些代表性的深度模型，以支持后续的特征建模与学习任务。接下来将依次介绍这些模型的基本原理与结构特点。

\subsection{自动编码器（Autoencoder）}
自动编码器（Autoencoder, AE）是一种无监督学习模型，其核心目标是学习数据的有效表示（编码），并能够从该表示中尽可能准确地重构出原始输入（解码）\cite{10843190}\cite{1068939}。
从结构上看，自动编码器由编码器（Encoder）和解码器（Decoder）两部分组成。编码器是一个将输入数据 \(x\) 映射到低维特征空间 \(z\) 的函数 \(f(x)\)，即 \(z = f(x)\) ，这个低维特征空间通常被称为潜在空间（Latent Space），其中的特征向量 \(z\) 是对原始输入数据的一种紧凑表示。解码器则是一个将潜在空间中的特征向量 \(z\) 映射回原始数据空间的函数 \(g(z)\) ，即 \(x'=g(z)\) ，其中 \(x'\) 是重构后的输出。整个自动编码器的训练目标是最小化原始输入 \(x\) 与重构输出 \(x'\) 之间的差异，通常使用重构误差（如均方误差，Mean Squared Error, MSE）作为损失函数 \(L(x, x')\) ，即：

\begin{equation}
    L(x, x')=\frac{1}{n}\sum_{i = 1}^{n}(x_i - x_i')^2
\end{equation}

其中 \(n\) 是输入数据的维度。通过不断地调整编码器和解码器的参数，使得损失函数达到最小，从而让自动编码器能够学习到数据的内在结构和特征。

% \begin{figure}[htbp]
%     \centering
%     \includegraphics[width=0.8\linewidth]{fig/自动编码器结构示意图.png}
%     \caption{自动编码器结构示意图}
%     \label{fig:自动编码器结构示意图}
% \end{figure}

自动编码器的工作过程可以分为两个阶段：编码阶段和解码阶段。在编码阶段，输入数据 \(x\) 经过编码器的一系列变换，如线性变换（矩阵乘法）和非线性激活函数（如Sigmoid、ReLU等）的作用，逐步将高维的输入数据压缩到低维的潜在空间中。这个过程可以看作是对输入数据进行特征提取和降维的过程，编码器试图捕捉输入数据中的重要信息，并将其表示为潜在空间中的一个向量。在解码阶段，潜在空间中的特征向量 \(z\) 作为解码器的输入，解码器通过与编码器相反的操作，将低维的特征向量重构为高维的输出 \(x'\) 。解码器的结构通常与编码器对称，以保证能够尽可能准确地还原原始输入。例如，在图像数据处理中，输入的图像可以看作是一个高维的像素矩阵。编码器将这个高维矩阵压缩为一个低维的向量，该向量包含了图像的关键特征，如物体的形状、颜色分布等。解码器则根据这个低维向量重新生成一幅与原始图像尽可能相似的图像。

自动编码器在数据降维和特征提取方面，其可以将高维的数据压缩到低维空间中，同时保留数据的重要信息，这在数据可视化、数据存储和机器学习算法的预处理等方面具有重要的应用价值，例如在高维生物数据（如基因表达数据）分析中，自动编码器可以将大量的基因表达数据降维到二维或三维空间，以便于直观地观察数据的分布和聚类情况。在异常检测领域，由于自动编码器能够学习到正常数据的特征和模式，当输入数据为异常数据时，自动编码器的重构误差会显著增大。因此，可以通过设置一个合适的重构误差阈值，将重构误差超过阈值的数据判定为异常数据，这种方法在工业生产中的设备故障检测、网络安全中的入侵检测等领域有广泛的应用。在图像生成和修复方面，变分自动编码器和去噪自动编码器表现出色。变分自动编码器可以从潜在空间中采样生成新的图像，这些图像具有与训练数据相似的特征和风格。去噪自动编码器则可以用于去除图像中的噪声、修复受损的图像等，例如在老照片修复中，去噪自动编码器可以去除照片中的划痕、斑点等噪声，恢复照片的清晰度和质量。

综上所述，自动编码器作为一种强大的无监督学习模型，在数据处理、特征提取、异常检测和生成式建模等多个领域都有着广泛的应用前景。随着深度学习技术的不断发展，自动编码器的结构和性能也在不断改进和优化，为解决各种复杂的实际问题提供了有力的工具。 

\subsection{长短时记忆网络（LSTM）}

长短时记忆网络（Long Short-Term Memory, LSTM）是一种专门用于处理时间序列数据的递归神经网络（Recurrent Neural Network, RNN）变体，能够有效捕捉长期依赖关系并缓解传统 RNN 训练中的梯度消失问题\cite{LINDEMANN2021650}\cite{DBLP:journals/access/AhsanHRA25}。LSTM 通过引入记忆单元（Memory Cell）和三个门控机制（遗忘门、输入门和输出门）来动态控制信息的更新与遗忘，从而在学习长期时序关系时保持更稳定的梯度流。  

设输入时间序列为 \( X = \{x_1, x_2, \dots, x_T\} \)，LSTM 的核心计算过程包括以下状态更新公式：  

\begin{equation}
\begin{aligned}
f_t &= \sigma(W_f h_{t - 1} + U_f x_t + b_f)\\
i_t &= \sigma(W_i h_{t - 1} + U_i x_t + b_i)\\
o_t &= \sigma(W_o h_{t - 1} + U_o x_t + b_o)\\
\tilde{c}_t &= \tanh(W_c h_{t - 1} + U_c x_t + b_c)\\
c_t &= f_t \odot c_{t - 1} + i_t \odot \tilde{c}_t\\
h_t &= o_t \odot \tanh(c_t)
\end{aligned}
\end{equation}

其中，\( f_t \)、\( i_t \) 和 \( o_t \) 分别表示遗忘门、输入门和输出门的激活值，\( c_t \) 是细胞状态（Cell State），\( h_t \) 是隐藏状态，\( W_f, W_i, W_o, W_c \) 及 \( U_f, U_i, U_o, U_c \) 为可训练权重矩阵，\( b_f, b_i, b_o, b_c \) 为偏置项，\( \sigma(\cdot) \) 为 Sigmoid 激活函数，\( \odot \) 表示逐元素乘法。 

在本研究中，LSTM 主要用于日常损耗项的建模，该分量的退化模式通常表现为平滑的长期趋势，并且数据中的短时波动较小。因此，采用 LSTM 进行建模时，适当减少网络层数和隐藏单元数，能够在保证预测精度的前提下减少模型复杂度。此外，由于日常损耗项的变化较为稳定，在损失函数的设计上，可以采用均方误差（Mean Squared Error, MSE）或 Huber 损失，以提高模型的鲁棒性和对异常值的抗干扰能力。  

\subsection{Transformer}

除了前文介绍的自动编码器结构之外，本文还接见了引入近年来在序列建模任务中表现突出的 Transformer 模型\cite{LIU2025113147}\cite{10901945}。与自动编码器类似，Transformer 也采用了编码器-解码器（Encoder-Decoder）结构，但与传统的自动编码器不同，其核心机制不再依赖于压缩与重构的隐变量表示，而是通过自注意力机制对输入序列中的时间步之间的依赖关系进行动态建模，从而有效捕捉全局上下文信息。

Transformer 最初由 Vaswani 等人\cite{Attention_is_all_you_need}提出于自然语言处理任务中，其革命性地摈弃了循环神经网络对时间顺序的递归建模方式，转而通过完全基于注意力机制的方式来建模任意位置之间的依赖关系。这种非递归的结构大幅提升了模型的并行计算能力，也更适用于长序列中的远距离依赖建模。

尽管其原始结构包含完整的编码器和解码器模块，但在如设备剩余寿命预测等回归任务中，模型更关注于输入序列的表示学习，而非序列生成，因此通常仅保留 Transformer 的编码器部分，用以高效提取输入时间序列的深层特征。

标准的 Transformer 编码器由多个结构相同的编码层堆叠而成，每一层包括两个核心子模块：

\begin{itemize}
  \item 多头自注意力机制（Multi-Head Self-Attention）
  \item 前馈神经网络（Position-wise Feed-Forward Network）
\end{itemize}

每个子模块都通过残差连接（Residual Connection）与层归一化（Layer Normalization）进行包裹，以提升训练稳定性和表示能力。

\textbf{（1）多头自注意力机制（Multi-Head Self-Attention）}

自注意力机制通过计算输入序列中任意两个时间步之间的相似性动态分配注意力权重，核心计算如下：

\begin{equation}
  \text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right)V
\end{equation}

其中，$Q$、$K$、$V$ 分别代表查询、键、值向量，均由输入特征通过线性变换获得，$d_k$ 是缩放因子。该机制允许模型对不同时间步的重要性进行加权，从而捕捉序列中的长期依赖信息。

Transformer 进一步将这一过程扩展为多头注意力机制：

\begin{equation}
\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h)W^O
\end{equation}

每个注意力头 $\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$ 在不同的子空间中学习时间步之间的关系，多头设计使得模型能够从多个角度理解输入序列中的复杂模式与变化趋势，特别适用于退化数据中的多源异构特征协同分析。

\textbf{（2）残差连接与层归一化}

每个子模块的输入与输出通过残差路径直接相加，并接入层归一化模块：

\begin{equation}
\text{Output} = \text{LayerNorm}(x + \text{SubLayer}(x))
\end{equation}

该结构有助于缓解深层模型训练中的梯度消失问题，促进深度特征的有效传播和信息保留。

\textbf{（3）前馈神经网络}

前馈网络独立地作用于每一个时间步上，包含两个线性变换与激活函数连接：

\begin{equation}
\text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2
\end{equation}

该结构用于增强模型的非线性表达能力，使得每个时间步的特征向量在经过注意力聚合后进一步获得表达强化。

\textbf{（4）位置编码（Positional Encoding）}

由于 Transformer 不依赖于时间递归结构，因此需要显式注入时间顺序信息。位置编码通常采用固定的三角函数设计，将时间位置映射到高维向量中，并与输入特征相加以保留序列的时序结构：

\begin{equation}
\text{PE}_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right), \quad
\text{PE}_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)
\end{equation}

这使得模型在处理退化序列时，能够区分各个时间步在退化路径中的先后位置，对建模事件突变或趋势演化等结构性变化尤为关键。

Transformer 的最大优势在于其全局建模能力以及高效的并行性，这使其在处理非线性、多变量、长依赖的设备监测序列时具有天然优势。在退化建模任务中，通过引入多头注意力机制，Transformer 可以有效识别不同时间步之间的潜在关联，感知突变事件与慢性退化之间的耦合关系，从而在提取表示上优于传统的时序网络。此外，其模块化结构亦便于与其它网络（如自动编码器、残差网络等）结合，实现更灵活的模型设计。


\section{本章小结}

本章围绕本文提出的基于退化轨迹分解的双通道剩余寿命预测框架，对方法体系中所涉及的核心理论与关键技术进行了系统梳理。内容依次涵盖退化过程建模、时间序列分解、时间序列分段以及深度学习模型四个方面。通过对相关理论的全面回顾与分析，本章为理解预测框架的建模思路与算法选型奠定了坚实的理论基础，同时也为后续方法论部分的展开提供了充分的技术准备。
